iT邦幫忙

2023 iThome 鐵人賽

DAY 17
0
AI & Data

吵什麼 AI 煉金術?!你家有礦嗎?(資料領域必知的 30 個詞彙)系列 第 17

資料領域需要什麼都來點 Ops:DevOps, DataOps, MLOps, AIOps

  • 分享至 

  • xImage
  •  

各種 Ops 是傳統組織架構崩解的號角

傳統功能性部門的分工方式容易造成資訊孤島,卻又為了企業營運活動而必須合作。純專案組織不用跨部門合作了,不必分享資訊也不必傳承,專案結束連資訊孤島都沒了。

因此,這幾年出現各種 Ops, 而幾乎所有的 Ops 都是為了打破組織間的藩籬,強化合作與傳承,無一例外。甚至包含了 ChatOps 這個 AI 與人的協作。
https://ithelp.ithome.com.tw/upload/images/20230920/20161790RXAbaNDTtP.png
資料來源:https://developer.ibm.com/articles/all-the-ops-devops-dataops-mlops-and-aiops/

假設部門藩籬不存在,則企業資料的流動將不斷觸發變革

  1. 資料在交易系統與客戶服務系統中產生,儲存在資料庫中。
  2. 這些資料經由 ETL 或資料管線被轉移到分析系統中。
  3. 分析結果資料中產生洞見或決策,觸發產品、服務與流程的改變。
  4. 上述改變引起交易系統與客戶服務系統的迭代,又產生了新的資料。
  5. 如此不斷循環…

資料專案是各種跨部門協作與傳承

我們正處於資訊專案中「Data Project 資料專案」成分越來越高的過渡階段,因為高層冀求上述的變革循環(當然高層會希望一步到位更好…)。

資料專案是以交付產品化「資料」為目標的專案。資料專案的細節我們後面篇幅再談。總之,資料生產通常都是在業務流程中發生,資料使用者目前常是規劃或決策單位,未來資料使用者可能是企業內所有部門,會更加廣泛地。資料加工或資料產品製造者,則是資料工程師與資料科學家,是新興的 Data Team。

上面描述可以知道「資料專案」常態為跨部門專案,而且可能是任意部門間,很可能這些部門以前從未合作過,沒建立過溝通模式。面對資料專案的新型態挑戰,上述的各種 Ops 不正是跨部門協作與傳承的指引嗎?

我們可以從下圖來看,DataOps 涵蓋最大,把 MLOps 包在其中,而且跟 DevOps 有大幅度的重疊。這是因為 DataOps 原本就是在推進企業應用系統的變革,從 rule-based 向 data-driven 變化。
https://ithelp.ithome.com.tw/upload/images/20230920/201617902zOv5s2H9M.png
圖片來源:https://towardsdatascience.com/what-the-ops-are-you-talking-about-518b1b1a2694

各種 Ops 的任務差異

  • DevOps:更快更好地交付軟體
  • DataOps:更快更好地交付資料或資料產品
  • MLOps:更快更好地交付機器學習模型
  • AIOps:利用 AI 強化 DevOps (的工具)

各種 Ops 的共通之處就是 DevOps,因為大家都自 DevOps 派生

  1. 產品屬性(例如:迭代開發、版控)
  2. 持續部署
  3. 自動化

DataOps 需要版控?而且有別於軟體版本?是的,我後面會有篇幅會提到 Data Versioning 這項新興技術。

資料領域人才需要培養卓越的溝通能力

我們發現各種 Ops 都會提到組織與流程,打破藩籬的本質為組織再造。為了讓這個過程是「共好」,而不是「鬥爭」,Data Team 要把溝通能力與領域知識,看得跟技術能力一樣重要,作為資料驅動的領導者。


上一篇
DataOps(Data is the New Infra,也需要來點 Ops)
下一篇
MLOps 的困境:為高監管行業的資料科學家請命
系列文
吵什麼 AI 煉金術?!你家有礦嗎?(資料領域必知的 30 個詞彙)30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言